中国工程院院士：人工智能要带上“保险箍”

6月30日，第二十二届中国国际软件博览会（以下简称“2018软博会”）第四场全球软件产业发展高峰论坛“聚焦人工智能，畅享美好未来”在北京展览馆召开。中国工程院院士方滨兴在题为“人工智能安全之我见”的专题演讲中指出，未来出厂的任何人工智能系统，只要是一个行为体，可运动、具有破坏力、甚至有失控风险，都要带上“保险箍”。

方滨兴表示，任何一个新技术，都有安全问题。新技术与安全之间的关系，可以从两个角度来看。一是新技术用于安全，即新技术在安全中发挥作用。比如，大数据正面利用时，可以分析攻击行为，恶意利用时，可以把攻击隐藏在巨大的数据里面，难以发现。

二是安全是技术的伴生品，先有技术，后有安全问题。比如云计算里有云的安全问题，底层需要可靠云、安全云、可信云、可控云等；大数据的问题是很容易侵犯隐私，这使得隐私保护成为一个挑战。

人工智能作为一个新的技术，也存在安全性问题。并且，人工智能的安全问题也有两方面，一是人工智能可能应用到网络防御上，也可能应用到网络攻击上，比如现在已有人工智能参与攻防大赛，自动发现漏洞并打补丁，发现攻击行为并进行抵抗，而且，在比较成功的比赛中，人工智能已进入前二十名，这说明人工智能在防御中发挥重大作用。人工智能应用在攻击上，最经典的是攻击语言识别，如海豚攻击。这种通过人工智能发出的攻击指令，人类听不见，但是机器可以听见并作出响应，如下载恶意代码、发出攻击等。

再有，人工智能自身的脆弱性同样带来安全问题。比如神经网的学习带来不可预见性，一个小小的噪音可能导致激变，如在禁行标志上打噪音，在人看来是禁行，在机器看来确是允许行驶。

人工智能的第二类安全问题，方滨兴认为是人工智能对人的威胁。演讲中，方滨兴提出AI行为体的概念：AI行为体满足4个要素，一是感知外部环境；二是内部有算法，有决策系统，并且决策根据事先的约定。但值得注意的是，约定可能不断演变，最后演变到人类不可知的程度；三是有驱动，行为体是可以行动的；四是具有自制能力，即机器能够决定自己做的事，此时，人类对它无法控制。他表示，未来各种自制的机器人、自动驾驶、人工智能武器都属于这一类。

他认为，当AI行为体满足以下三个条件即对人类构成威胁，一是具有行为能力；二是具有自治能力，人工智能可自我设定目标函数，此时，人工智能可能违背人设计好的意愿；三是具有破环力。

对于人工智能可能带来的威胁，方滨兴表示，国际上ISO/TS15066标准提出，在机器人与人之间的协同中，首先要考虑保护人类。具体有四方面，一是感觉到挤压到人时，力要停住；二是和人保持安全距离；三是手动指引，由人来决定做与不做；四是人可以随时做出强制性要求，在不安全时停止机器。

类似的，方滨兴提出人工智能保险箍。他表示，人工智能保险箍像保险丝，又像紧箍咒的金箍一样，它串联在人工智能系统中，AI的决策系统需要经过保险箍才能驱动。保险箍具有远程监控功能，有风险时可远程封停机器，切断电源，记录状态；机器不能自己摘除保险箍；机器具有增强功能，内置传感器可识别具体情况；保险箍为机器设置安全围栏，就像设置无人机的禁飞区域一样，限定机器可做的事情。

方滨兴希望，未来出厂的任何人工智能系统，只要是一个行为体，可运动、具有破坏力、甚至有失控风险，都要加上这个保险箍。

报料请点击 

推荐阅读：